LaLa-World: Scaling Latent World Models with Natural Language Actions
LaLa-World：用自然语言动作扩展潜在世界模型
🧭 语言条件潜在世界模型与规划
NAVER AI Lab · Georgia Institute of Technology · Brown University · Mila & Université de Montréal
用语言描述动作与视觉变化，让单一LLM潜在世界模型跨异构数据训练，实现高效规划与策略初始化
📌 工作参考价值（4 点）
- 将异构用户行为数据（点击、购买、曝光、反馈）和场景特征统一为自然语言描述，可联合训练单一世界模型，支持跨域推荐和冷启动场景下的行为预测。
- 用LLM作为环境状态预测器，替代像素/隐向量级别的生成，既能理解语言条件，又能大幅降低训练与推理成本，适合在线实时规划（如MPC）和反事实推演。
- 预训练的用户行为世界模型可作为下游策略（如RL推荐策略）的初始化，加速收敛，类似LaLa-Policy的思路可以迁移到Agent策略微调。
- 语言化动作和状态对措辞变化具有鲁棒性，适合处理自然语言形式的用户意图或Agent指令，增强系统对模糊输入的容错。